Tan Sri Abdul Aziz dilahirkan pada 26 Ogos 1951 di Kuala Pilah, Negeri Sembilan menerima pendidikan awal di Sekolah Menengah Kebangsaan Tuanku Muhammad, Kuala Pilah sebelum meneruskan pengajian di Maktab Tentera Diraja sehingga tahun 1968. Beliau menerima sarjana pengurusan daripada Institut Pengurusan Asia di Manila. Beliau berkahwin dengan Puan Sri Dato Hajjah Rositah bt Md Mawi dan mereka mempunyai dua orang anak lelaki dan dua orang anak perempuan. Hobi beliau di waktu lapang adalah bermain golf dan berkebun.